# 합성 데이터 (Synthetic Data)

## 1. 개요
합성 데이터(Synthetic Data, 가상 데이터라고도 함)란 실제 세계에서 수집된 데이터가 아니라, 알고리즘이나 통계적 모델을 통해 인위적으로 생성된 데이터를 의미한다. 실제 데이터(Real-world Data)가 관찰된 사실의 기록이라면, 합성 데이터는 실제 데이터의 통계적 특성, 상관관계, 분포를 모방하여 생성된 '모사 데이터'이다.

최근 데이터 과학 분야에서 합성 데이터가 주목받는 이유는 크게 세 가지이다. 첫째, 개인정보 보호법(GDPR, 개인정보 보호법 등) 강화로 인해 실제 데이터 활용 제약이 심화되었기 때문이다. 둘째, 딥러닝 모델의 고도화로 인해 방대한 양의 학습 데이터가 필요해졌으나, 고품질의 실제 데이터를 수집하는 비용이 기하급수적으로 증가했기 때문이다. 셋째, 실제 데이터로는 확보하기 어려운 희귀 사례(Edge Case)를 인위적으로 생성하여 모델의 강건성(Robustness)을 높일 필요가 있기 때문이다.

## 2. 합성 데이터 생성 원리 및 방법론
합성 데이터 생성은 생성 대상 데이터의 유형에 따라 크게 세 가지로 분류된다.
*   **정형 데이터 (Tabular Data):** 표 형태의 수치 및 범주형 데이터.
*   **비정형 데이터 (Unstructured Data):** 이미지, 텍스트, 오디오 등.
*   **시뮬레이션 데이터 (Simulation Data):** 3D 환경, 물리 엔진 기반의 센서 데이터 등.

### 2.1 기술적 메커니즘
*   **통계적 샘플링 (Statistical Sampling):** 실제 데이터의 평균, 표준편차, 분포(정규분포, 포아송 분포 등)를 분석하여 해당 확률 분포에서 새로운 샘플을 추출하는 방식이다. 주로 정형 데이터에 사용된다.
*   **VAE (Variational Autoencoder, 변이형 오토인코더):** 입력 데이터를 저차원의 잠재 공간(Latent Space)으로 압축한 뒤, 이 공간에서 샘플링하여 다시 원래의 데이터 형태로 복원하는 생성 모델이다. 이미지 및 신호 데이터 생성에 유용하다.
*   **GAN (Generative Adversarial Networks, 생성적 적대 신경망):** 데이터를 생성하는 '생성자(Generator)'와 실제 데이터와 가짜 데이터를 판별하는 '판별자(Discriminator)'가 서로 경쟁하며 데이터의 정밀도를 높이는 방식이다. 고해상도 이미지 및 영상 생성에 탁월하다.
*   **LLM 기반 생성 (LLM-based Generation):** 대규모 언어 모델(Large Language Model)의 문맥 이해 능력을 활용하여 텍스트 형태의 정형/비정형 데이터를 생성하는 방식이다.

### 2.2 생성 방식별 비교
| 생성 방식 | 주요 특징 | 장점 | 단점 | 적합한 데이터 유형 |
| :--- | :--- | :--- | :--- | :--- |
| **통계적 샘플링** | 확률 분포 기반 추출 | 계산 비용 매우 낮음, 해석 가능성 높음 | 복잡한 변수 간 상관관계 반영 어려움 | 단순 수치형 데이터 |
| **VAE** | 잠재 공간 학습 및 복원 | 안정적인 학습, 데이터 구조 파악 용이 | 생성된 데이터가 다소 뭉툭함(Blurry) | 이미지, 신호 데이터 |
| **GAN** | 생성자-판별자 경쟁 구조 | 매우 높은 정밀도와 사실감 | 학습 불안정성(Mode Collapse), 설정 어려움 | 고해상도 이미지, 영상 |
| **LLM 기반** | 프롬프트 및 문맥 기반 생성 | 복잡한 논리 구조 및 텍스트 생성 가능 | 할루시네이션 및 데이터 유출(Data Leakage) 위험 | 텍스트, 로그, 코드 데이터 |

## 3. 주요 활용 분야 및 산업별 적용 사례
합성 데이터는 데이터 부족 문제를 해결하고 보안 리스크를 제거함으로써 다양한 산업에서 활용된다.

### 3.1 산업별 적용 사례 (Use Case)
*   **의료 (Healthcare):** 환자의 민감한 의료 기록(EMR)을 직접 공유하는 대신, 통계적 특성이 동일한 합성 환자 데이터를 생성하여 연구자들에게 제공함으로써 개인정보 유출 없이 임상 연구를 수행한다.
*   **금융 (Finance):** 신용카드 부정 결제(Fraud Detection) 사례는 전체 데이터 중 극소수(Imbalanced Data)이다. 이를 보완하기 위해 가상으로 부정 결제 패턴을 생성하여 탐지 모델의 정확도를 높인다.
*   **자율주행 (Autonomous Driving):** 실제 도로에서 발생하기 어려운 사고 상황(갑작스러운 보행자 튀어나옴 등)을 가상 시뮬레이션 환경에서 생성하여 AI 모델이 위험 상황에 대응하도록 학습시킨다.
*   **리테일 (Retail):** 고객의 구매 여정 데이터를 합성하여 새로운 마케팅 시나리오를 테스트하거나 수요 예측 모델의 성능을 검증한다.

### 3.2 특수 목적 활용
*   **데이터 증강 (Data Augmentation):** 소량의 데이터를 변형하거나 합성 데이터를 추가하여 과적합(Overfitting)을 방지한다.
*   **엣지 케이스(Edge Case) 보완:** 발생 빈도는 낮지만 치명적인 영향을 주는 희귀 데이터를 생성하여 모델의 신뢰성을 확보한다.

## 4. 합성 데이터의 장점과 한계

### 4.1 장점
1.  **프라이버시 보호:** 실제 개인 식별 정보(PII)가 포함되지 않아 법적 규제로부터 자유롭다.
2.  **비용 및 시간 절감:** 수동 라벨링이나 실제 데이터 수집에 소요되는 막대한 비용과 시간을 줄일 수 있다.
3.  **데이터 불균형 해소:** 소수 클래스의 데이터를 인위적으로 늘려 모델의 편향성을 줄일 수 있다.

### 4.2 한계 및 리스크
1.  **모델 붕괴 (Model Collapse):** AI가 생성한 데이터를 다시 AI가 학습하는 과정이 반복되면, 데이터의 다양성이 사라지고 특정 패턴만 남게 되어 모델의 성능이 급격히 저하되는 현상이 발생한다.
2.  **편향성 전이 (Bias Transfer):** 원본 데이터에 내재된 편향(Bias)이 합성 데이터 생성 과정에서 그대로 복제되거나 오히려 증폭될 수 있다.
3.  **실제 데이터와의 괴리 (Fidelity Gap):** 합성 데이터가 통계적으로는 유사하더라도, 실제 세계의 복잡한 인과관계나 예외 상황을 완벽히 재현하지 못할 수 있다.

## 5. 품질 평가 및 검증 방법
합성 데이터의 효용성은 실제 데이터와의 유사성과 생성된 데이터의 다양성에 의해 결정된다.

### 5.1 주요 평가 지표
*   **충실도 (Fidelity):** 생성된 데이터가 실제 데이터의 분포를 얼마나 정확하게 모사했는가.
    *   **통계적 지표:** KL-Divergence, JS-Divergence, KS-test(Kolmogorov-Smirnov test) 등을 통해 두 분포의 유사도를 측정한다.
    *   **이미지 지표:** FID(Fréchet Inception Distance)를 통해 생성된 이미지의 품질과 실제 이미지 분포 간의 거리를 측정한다.
*   **다양성 (Diversity):** 생성된 데이터가 특정 패턴에 매몰되지 않고 실제 데이터가 가진 다양한 변동성을 포함하고 있는가.
*   **유용성 (Utility):** 합성 데이터로 학습시킨 모델을 실제 데이터에 적용했을 때, 실제 데이터로 학습시킨 모델과 유사한 성능을 내는가.

### 5.2 분포 비교 시각화 예시 (Python)
본 코드는 실제 데이터와 합성 데이터의 분포 차이를 시각적으로 확인하기 위한 **개념 증명(PoC)용 예시**이다.

```python
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 1. 실제 데이터 생성 (정규분포 가정)
real_data = np.random.normal(loc=50, scale=10, size=1000)

# 2. 합성 데이터 생성 (약간의 오차가 있는 모사 데이터)
synthetic_data = np.random.normal(loc=51, scale=11, size=1000)

# 데이터프레임 구성
df = pd.DataFrame({
    'Value': np.concatenate([real_data, synthetic_data]),
    'Type': ['Real'] * 1000 + ['Synthetic'] * 1000
})

# 3. 분포 시각화 (KDE Plot)
plt.figure(figsize=(10, 6))
# common_norm=False: 두 집단의 샘플 수가 다를 때 각각의 밀도를 독립적으로 추정하여 정확한 비교를 가능하게 함
sns.kdeplot(data=df, x='Value', hue='Type', fill=True, common_norm=False)
plt.title('Comparison of Real vs Synthetic Data Distribution')
plt.xlabel('Feature Value')
plt.ylabel('Density')
plt.show()
```

## 6. 합성 데이터 생성 도구 및 라이브러리
현재 시장에는 정형 데이터부터 이미지, 텍스트까지 다양한 합성 데이터 생성 도구가 존재한다.

*   **SDV (Synthetic Data Vault):** 정형 데이터(Tabular Data) 생성을 위한 가장 대표적인 파이썬 라이브러리로, 다중 테이블 간의 관계를 유지하며 데이터를 생성한다.
*   **YData-synthetic:** GAN 기반의 정형 데이터 생성 및 품질 평가 도구를 제공한다.
*   **Gretel.ai:** API 기반의 엔터프라이즈 합성 데이터 플랫폼으로, 프라이버시 보호 기술(Differential Privacy)이 통합되어 있다.
*   **NVIDIA Omniverse:** 고정밀 3D 가상 환경을 구축하여 자율주행, 로봇 학습을 위한 합성 이미지 및 센서 데이터를 생성한다.

## 7. 최신 트렌드: 합성 데이터 파이프라인 (Synthetic Data Pipeline)
최근에는 단발성 데이터 생성을 넘어, 데이터 생성-검증-피드백-재생성으로 이어지는 **'합성 데이터 파이프라인'** 개념이 도입되고 있다.

1.  **데이터 분석:** 원본 데이터의 스키마, 통계적 특성, 상관관계를 분석한다.
2.  **생성 모델 최적화:** 분석된 특성을 바탕으로 최적의 생성 알고리즘(GAN, VAE 등)을 선택하고 하이퍼파라미터를 튜닝한다.
3.  **품질 검증:** Fidelity와 Diversity 지표를 통해 생성된 데이터의 품질을 자동 측정한다.
4.  **모델 테스트:** 합성 데이터로 학습한 모델을 실제 데이터 검증셋(Hold-out set)에 적용하여 성능을 확인한다.
5.  **피드백 루프:** 성능 미달 시, 부족한 데이터 영역(Gap)을 식별하여 해당 부분의 합성 데이터를 집중적으로 추가 생성하는 반복 과정을 거친다.

## 8. 윤리적 고려사항 및 법적 쟁점
합성 데이터가 프라이버시 문제를 해결하는 대안으로 꼽히지만, 여전히 몇 가지 쟁점이 존재한다.

*   **재식별 가능성 (Re-identification):** 생성 모델이 원본 데이터를 과하게 학습(Overfitting)할 경우, 합성 데이터 내에 실제 개인의 특이값이 그대로 노출되어 역으로 개인을 식별할 수 있는 위험이 있다. 이를 방지하기 위해 `[[차분 프라이버시]]`(Differential Privacy) 기술이 적용된다.
*   **저작권 문제:** 저작권이 있는 데이터를 학습하여 생성된 합성 데이터의 소유권과, 이를 이용해 학습된 AI 모델의 저작권 인정 여부에 대한 법적 논의가 진행 중이다.
*   **신뢰성 및 책임:** 합성 데이터로 학습된 AI가 실제 환경에서 오작동했을 때, 그 책임이 데이터 생성 알고리즘에 있는지 혹은 모델 설계에 있는지에 대한 책임 소재 문제가 발생할 수 있다.